Beliau dilahirkan pada 22 Mac 1929, iaitu selepas khutbah selesai pada pagi Hari Raya Aidilfitri di Pulau Pinang.[10] Beliau adalah anak kepada pasangan Teuku Nyak Puteh bin Teuku Karim (1902 - 1955) dan Che Mah Hussein (1904 - 1967).[6] Sebelum Che Mah melahirkannya, Che Mah telah mengadu sakit perut pada sebelah paginya. Tetapi, bapanya harus menunaikan sembahyang raya. Mujurlah ibu Che Mah tinggal bersama-sama dengannya. Ibu Che Mah telah memanggil bidan dan orang ramai mula berkumpul di rumah mereka. Selepas pulang daripada menunaikan solat, Teuku Nyak Puteh mendapati anaknya telah selamat dilahirkan. Ibu Che Mah telah memanggil cucunya dengan panggilan "Ramlee" kerana kesukaran memanggil nama "Teuku Zakaria".[10]

Teuku Nyak Puteh merupakan anak tunggal yang berasal dari Lhokseumawe, Acheh. Bapanya mengembara untuk menjadi pelayar kerana merajuk kepada salah seorang ahli keluarganya. Akhirnya, beliau berkenalan dengan seorang janda bernama Che Mah Hussein. Perkenalan ini telah menyebabkannya berkahwin dengan Che Mah pada tahun 1925 di Kampung Kubang Buaya, Butterworth. P. Ramlee mempunyai seorang adik-beradik tiri melalui perkahwinan pertama ibunya, iaitu Syeikh Ali. Ibunya meninggal akibat penyakit barah gusi, ketika P. Ramlee dalam perjalanan pulang ke Pulau Pinang.[10]

Beliau menerima pendidikan awal di Sekolah Melayu Kampung Jawa dan Francis Light English School. Seterusnya, beliau menyambung pelajaran di Penang Free School sehingga meletusnya Perang Dunia Kedua.[6] Ketika beliau masih bersekolah di Penang Free School, beliau dikenali sebagai pelajar yang kemas dari segi tulisan dan mempunyai bahasa yang menarik. Pada waktu tengah hari, beliau mempelajari pendidikan Islam dan pada sebelah malamnya, beliau aktif bersukan. Guru beliau, Encik Hashim adalah bapa kepada Ahmad Daud. Setiap hari, beliau akan disuruh oleh Encik Hashim untuk menghantar buku-buku pelajar ke rumahnya. Sebelum pulang ke rumah, beliau seringkali dipelawa untuk makan di rumah Encik Hashim.[10] Ketika zaman pendudukan tentera Jepun di Tanah Melayu, beliau belajar di Japanese Navy School (Kaigun Gakko) sebelum kembali ke Penang Free School apabila perang tamat.[6]